인공지능 분야에서 시퀀스 모델링은 정적인 스냅샷에서 시간적 흐름으로 초점을 전환합니다. 표준적인 머신러닝 작업은 종종 데이터 포인트가 독립 동일 분포(IID)라고 가정합니다. 즉, 표본의 순서는 결과에 영향을 미치지 않습니다.

시퀀스 모델링은 이를 명시적으로 거부하며, 다음 세 가지 핵심 축에 집중합니다:

• 순열 불변성의 위반: 표 형식 데이터에서 열의 순서는 임의적입니다. 그러나 시퀀스에서는 순서가 핵심 속성입니다. "고양이가 쥐를 먹었다"를 "쥐가 고양이를 먹었다"로 바꾸면 동일한 토큰임에도 불구하고 근본적으로 의미적 정답 이 달라집니다.
• 자기회귀 속성: 시점 $t$의 관측값이 수학적으로 과거($t-1, t-2, \dots, 1$)에 조건부적으로 의존한다고 가정합니다. 이는 정보가 어떻게 진화하는지 포착하기 위해 전이 확률을 필요로 합니다.
• 가변 길이 매핑: 고정된 28x28 픽셀 격자와 달리, 문장이나 지진파와 같은 시퀀스는 탄력적입니다. 모델은 일관된 파라미터를 사용하여 길이 $N$의 입력을 처리하고 길이 $M$의 출력을 생성해야 합니다.